Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models
MoE 语言模型中的专家层循环绑定
🧭 MoE 参数共享与内存优化
EPFL
跨层共享专家参数，保持独立路由，几乎无损失地将 MoE 内存占用减半
📌 工作参考价值（4 点）
- 大型推荐模型的内存压缩：若采用 MoE 做多任务或用户分群建模，跨层共享专家 FFN 可近乎砍半参数内存，同时保持独立路由，适合搜索/推荐等需低延迟服务的场景。
- Agent 模型的低成本扩展：构建多专家 Agent 系统时，可通过层间专家复用减少冗余，维持不同层路由独立以保留推理多样性，平衡能力与资源。
- 工程实现注意：复用需保证每层 router 和 attention 独立；可直接应用于 OLMoE/Qwen3/DeepSeek 等主流 MoE 结构，现有模型微调或蒸馏时可尝试专家合并。
- 与 LoRA/量化结合：专家共享后为稀疏模块再留出容量加 LoRA 或小块微调，可在内存受限设备上部署更大型的生成式推荐模型。